拆书|《深度学习》第十三章 算法驱动

第十三章  算法驱动

今天的技术是由算法驱动的：在21世界，我们试图通过离散数学和算法来理解计算机科学和生物学复杂的本质。

算法无处不在，我们每次使用百度搜索都使用了算法，每次在今日头条阅读新闻也都是经过算法的自动筛选，这些新的推送参考了我们的阅读历史记录，会影响我们的情绪的反应。

用算法把复杂的问题简单化

算法为创造出比现在世界更为复杂的世界提供了机会。虽然我们的神经网络模型比大脑的神经回路简单得多，但我们开发的学习算法使得探索一般原理成为可能，例如信息在大量神经元中的分部原理。

理解、分析复杂系统

斯蒂芬·沃尔夫勒姆认为神经网络过于复杂，于是决定转变研究方向，开始探索细胞自动机。

细胞自动机通常只有少数几个岁时间变化的离散值，这取决于其他细胞的状态。生成复杂系统的规则有多普遍呢？沃尔夫勒姆想要了解可能导致复杂行为的简单的细胞自动机规则，于是他开始从所有规则中寻找。

最终证明：规则110能够实现通用计算。该发现的一个意义在于，我们再生命体中发现的显著复杂性，可以通过对分子间化学相互左右的最简空间进行采样，从而实现演化。

生命的一个重要特性，是细胞的自我复制能力。冯·诺依曼发现了一个复杂的细胞自动机，具有29个内部状态和一个大型的记忆体，可以实现自我复制。

大脑的逻辑深度

我们现在知道，大脑有模拟和数字的混合特性，它们的神经回路通常不计算逻辑函数。

冯·诺依曼对大脑也非常感兴趣，当计算机中的晶体管出现错误是，整个计算机可能就会崩溃，但是当大脑中的某个神经元失灵时，大脑的其他部分却会适应这种失灵，并照常工作。

冯·诺依曼认为，冗余可能使大脑能够稳定运转的原因，每个操作都有许多神经元参与，冗余在传统是上基于备份的，防止主系统出现故障。

一个大脑可能达不到完美的程度，是因为它有许多神经元并行工作，所以每一步能够完成的计算都比一台计算机进行一次计算所能完成的要多得多，因而逻辑深度也要浅一些。

想象一下充满了所有可能算法的空间。这个空间的每一点都一个算法。你不必再算法啊空间中搜索很长一段路径，就可以找到一种能解决一类有趣问题的算法。

以上十三章|算法驱动的全部内容，我们知道算法基于大脑的开发研究而成，而在算法上我们可以延伸出无限的可能。在下期介绍第十四章|芯片崛起